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Verfahren und Anordnunq zur Abbildunq und Vermessunq mikroskopi- 
scher dreidimensionaler Strukturen 



Die Erfindung betrifft ein Verfahren zur Abbildung, Vermessung und Interakti- 
on mit mikroskopischen dreidimensionalen Strukturen. Ferner betrifft die Er- 
5 findung eine Anordnung zur Abbildung und Vermessung mikroskopischer 3- 
dimensionaler Strukturen. Im besonderen betrifft die Erfindung eine Anord- 
nung zur Abbildung und Vermessung mikroskopischer dreidimensionaler 
Strukturen, mit einem Mikroskop, einem dem Mikroskop zugeordneten Dis- 
play, einem PC und einem dem PC zugeordneten Eingabegerat. 

10 Bei der Arbeit am Mikroskop sind - je nach Anwendung unterschiedlich - im- 
mer wieder Bilddetails im Blickfeld des Benutzers. In alien mikroskopischen 
Anwendungen existiert z.B. eine Klasse von Funktionen zur Vermessung 
morphologisch-densiometrischer Eigenschaften. Morphologie analysiert Form- 
und Geometriemerkmale, Densiometrie analysiert Merkmale der Intensitats- 

15 verteilung, wobei in der Praxis haufig Mischformen anzutreffen sind. Diese 
Klasse von Funktionen bietet auch die Basis fur zahlreiche automatische Ein- 
stellvorgange. In heutigen Systemen arbeitet der Benutzer mit Bilddetails in- 
dem er Sie mit einem geeigneten graphischen Mechanismus auf dem Bild- 
schirm markiert und somit eine Geometrie definiert und eine gewunschte 

20 Funktion des Systems anwahlt wobei die hier beschriebene Reihenfolge will- 
kurlich ist. Dies gestaltet sich fur dreidimensionale Geometrien schwierig. 

3-dimensionale geometrischer Strukturen innerhalb von 3-dimensionalen Bild- 
stapeln, die aus den durch ein Mikroskop aufgenommenen Daten generiert 
wurden, sind mental schwierig zu erfassen. In der Praxis haben viele Benutzer 
25 nur ein mangelhaftes 3-dimensionales Vorstellungsvermogen, da 3D Modelle 
mental einen komplizierten Konstruktionsprozess und somit einige Obung vor- 
aussetzt. Dies ist insbesondere schwierig, wenn man mit den Rohdaten eines 
3D Mikroskops in Form von Schnittbildern arbeitet. In diesem Fall muss der 
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Benutzer mental die Dreidimensionalitat komplett rekonstruieren. Die Vermes- 
sung schrag im Volumen verlaufender Langen, die nicht in einem Schnitt er- 
fasst sind, macht auf der Basis der erfassten Schnitte eine aufwendige Navi- 
gation durch den Stapel der erfassten 2-dimensionalen Bilddaten notwendig. 
5 Fehlt es an einer 3-dimensionalen Vorstellungskraft, so kann nur mit erhebli- 
chen Aufwand die interessierende Struktur identifiziert werden. 

Konkrete Beispiele aus der Mikroskopie fur Aktionen in deren Kontext dieses 
Problem auftritt sind: 

a) Statistische Analysen lokaler Eigenschaften von Bildern und volumetri- 
10 schen Bildstapeln (Profile, Histogramme, Kolokalisationen, Material 

Rauhigkeit). 

b) Beobachtung physiologischer Reaktionen lebender Zellen und einzel- 
ner Kompartments (von Stoffwechsel/Struktur unterscheidbare Teile 
einer Zelle) derselben. 

15 c) Zoomvorgange. 

d) Ausrichtung des Bildfeldes. 

e) Steuerung von Aktoren. 

f) Definition lokal unterschiedlicher Anregungs- und Detektions- Parame- 
ter. 

20 g) Automatisierte Regelvorgange unter Zuhilfenahme von Geometrieda- 

ten. 

Die Publikation von Demandolx D., Davoust J.: Multicolour; analysis and 
local image correlation in confocal microscopy, Journal of Microscopy, 
Vol. 185, Pt1, January 1997, Seiten 21-36; offenbart eine Vielzahl von densi- 

25 ometrischen Analyseverfahren. Die einzelnen Analysen benotigen sowohl eine 
geometrische Sefektion des zu analysierenden Objektes als auch geometri- 
sche Selektionen in einem speziellem Analyseraum, dem Cytofluorogram. Die 
Publikation von Wedekind P., Kubitscheck U. ( Peters R.: Scanning micro- 
photolysis: A NEW PHOTOBLEACHING TECHNIQUE BASED ON FAST INTENSITY 

30 MODULATION OF A SCANNED LASER BEAM AND CONFOCAL IMAGING, im Journal of 

Microscopy, Vol. 176., Pt 1. October, 1994, Seiten 23-33, offenbart eine Mog- 
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lichkeit der Uberlagerung geometrischer Elemente mit einem aufgenommenen 
Bild von einem Objekt, die auf der Probe unterschiedlich beleuchtet werden, 
und durch den damit verbundenen Energietransport Veranderungen in der 
Probe bewirken. 

5 Standard Mikroskopsysteme stellen - meistens in Software realisiert - hierfur 
passende Geometriemodelle zur Verfugung (Polygone, Rechtecke, allgemein 
ROI = Region Of Interesst), die der Benutzer vorgibt. In der Regel erfordert 
dies einen zeitaufwendigen interaktiven Prozess. Die Region wird mit der 
Maus auf dem Display eines Computersystems gezeichnet. AnschlieBend wird 
10 es der entsprechenden Automatisierungsfunktion zur Verfugung gestellt 

Dieser Erfindung liegt die Aufgabe zugrunde ein Verfahren zu schaffen, bei 
dem die Vermessung 3-dimensionaler Strukturen auch ohne eine raumliche 
Vorstellungskraft moglich ist. Hinzu kommt, dass mit dem erfindungsgemalSen 
Verfahren auf einfache Weise eine Definition eines aufzunehmenden Teilvo- 
15 lumens moglich ist. 

Die objektive Aufgabe wird gelbst durch ein Verfahren, das durch die folgen- 
den Schritte gekennzeichnet ist: 

• Darstellen eines Datensatzes in 3-dimensionaler Form auf einem dem 
Mikroskop zugeordneten Display; 

20 • Vorgeben mindestens einer beliebigen Schnittposition und beliebiger 

Drehwinkel; 

• Drehen der 3-dimensionalen Darstellung auf dem Display bis eine in 
der 3-dimensionalen Form enthaltene Struktur eine dem Benutzer ge- 
eignet erscheinende Darstellung auf dem Display wiedergibt; und 

25 • Durchfuhren eines Analysevorgangs an der Struktur. 

Eine weitere Aufgabe der Erfindung ist es eine Anordnung zu schaffen, bei 
dem die Vermessung 3-dimensionaler Strukturen in einem aufgenommenen 
Probenvolumen moglich ist. Dabei soil die Anordnung unabhangig von dem 3- 
dimensionalen Vorstellungsvermogens des Benutzers sein. Hinzu kommt, 
30 dass auf beliebig ausgewahlte Teilvolumina des aufgenommenen Probenvo- 
lumens spezielle Scanparameter angewendet werden konnen. 
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Die objektive Aufgabe wird gelost durch eine Anordnung die dadurch gekenn- 
zeichnet, dass 

o ein erstes Fenster auf dem Display zur Darstellung von Schnitt- 
ebenen in einem aufgenommenen Probenvolumen aus jeweils un- 
5 terschiedlichen Blickrichtungen, 

o ein zweites Fenster auf dem Display zur Darstellung einer Rotati- 
onssicht des aufgenommenen Probenvolumens, 

o ein drittes Fenster auf dem Display zur visuellen Darstellung der 
Koordinaten, der Rotationswinkels und der Schnittposition und 

10 o jeweils ein Fadenkreuz in der Darstellung einer jeden Schnittebe- 

ne zum interaktiven Verandern der Schnittposition vorgesehen ist, 
wobei der Bildinhalt im ersten Fenster entsprechend der Verande- 
rung aktualisierbar ist. 

Der Vorteil der Erfindung ist, dass die Vermessung 3-dimensionaler geometri- 

15 scher Strukturen innerhalb von 3-dimensionalen Bildstapeln, die mit einem 
Mikroskop aufgenommen wurden, erheblich vereinfacht ist. Die Struktur 3- 
dimensionaler Korper ist mental schwierig zu erfassen, insbesondere wenn 
man mit den vom Mikroskop aufgenommenen Rohdaten eines in Form von 
Schnittbildern arbeitet. In diesem Fall muss der Benutzer mental die Dreidi- 

20 mensionalitat rekonstruiere, urn innerhalb der Probe die Orientierung zu 
behalten. Das erfindungsgemafie Verfahren und die Anordnung erleichtern 
dies erheblich, indem die benotigten Messmittel und Einstellvorrichtungen 
sowie eine rechentechnisch ermittelte Rekonstruktion parallel prasentiert wird. 
Dies fuhrt zu kognitiver Entlastung des Benutzers, schnellerem arbeiten und 

25 somit bkonomischerer Nutzung des Gerats (Arbeit/Zeit). 
Vermessungsaufgaben, wie z.B. schrag im Volumen verlaufender Langen, die 
nicht in einem Schnitt erfasst sind, werden erheblich erleichtert. Ist eine 
interessierende Struktur nicht von einem Schnitt erfasst, dann muss Sie nach 
herkommlichen Methoden auf der Basis der erfassten Schnitte mit einer 

30 Navigation durch den Bildstapel in einem zeitaufwendigen Prozess gefunden 
werden. Dies ist bei mangelndem 3-dimensionalen Vorstellungsvermogen 
erheblich erschwert, wird aber durch das erfindungsgemaUe Verfahren und 
die Anordnung erleichtert. In der hier gewahlten Losung reduziert sich dies auf 
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gewahlten Losung reduziert sich dies auf ein zurechtdrehen und vermessen. 
Diese kombinierte Auswertung minimaler Benutzereingaben (Mausklick) und 
der erfassten Mikroskopiebilddaten zur Ermittlung von geeigneten Schnittebe- 
nen erhoht die Ergonomie der gesamten Anordnung erheblich. Ferner erhalt 
5 der Benutzer eine einfache Moglichkeit zur Navigation durch den Bildstapel 
ohne dabei die Orientierung zu verlieren. Weiterhin ist vorteilhaft, dass mit 
dem Verfahren die Daten 3-dimensionaler Teilvolumina direkt an die Mikro- 
skopsteuerung ubergeben werden konnen. Die Mikroskopsteuerung kann 
dann auf das bestimmte Probenvolumen angepasste bzw. ausgewahlte Scan- 
1 0 parameter anwenden. 

In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und 
wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen: 

Fig. 1 eine schematische Darstellung eines konfokalen Scan- 

mikroskops, bei denn gegenwartige Erfindung Anwendung 
15 findet; 

Fig. 2 eine Ausfuhrungsform eines Userinterfaces zur graphi- 

schen Darstellung der drei verschiedenen Ebenen die 
durch ein Probenvolumen gelegt werden; 

Fig. 3 eine schematische Darstellung eines Quadermodells zur 

20 Darstellung des Probenvolumens und einer Hilfe hierzu, 

um eine Orientierung der Ansicht bei der Drehung des 
Probenvolumens zu erreichen; 

Fig. 4 eine weitere Ausfuhrungsform eines Userinterfaces zum 

Bestimmen einer Lange in einem aufgenommenen Pro- 
25 benvolumen; und 

Fig. 5 eine dritte Ausfuhrungsform zum Vermessen von Flachen 

und Erzeugen von abgegrenzten Volumina in dem aufge- 
nommenen Probenvolumen. 

Fig. 1 zeigt schematisch ein konfokales Scanmikroskop. Der von einem Be- 
30 leuchtungssystem 1 kommende Lichtstrahl 3 wird von einem Strahlteiler 5 
zum Scanmodul 7 reflektiert, das einen kardanisch aufgehangten Scanspiegel 
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9 beinhaltet, der den Strahl durch die Mikroskopoptik 13 hindurch uber bzw. 
durch das Objekt 15 fuhrt. Der Lichtstrahl 3 wird bei nicht transparenten Ob- 
jekten 15 uber die Objektoberflache gefiihrt. Bei biologischen Objekten 15 
(Praparaten) oder transparenten Objekten kann der Lichtstrahl 3 auch durch 
5 das Objekt 15 gefiihrt werden. Dies bedeutet, dass verschiedene Fokusebe- 
nen des Objekts 15 nacheinander durch den Lichtstrahl 3 abgetastet werden. 
Die nachtragliche Zusammensetzung ergibt dann ein 3-dimensionales Bild 
des Objekts 15. Der aus einer Vielzahl von 2-dimensionalen Bildern beste- 
hende Bildstapel wird zu einem 3-dimensionalen Bild zusammengesetzt. Der 

10 vom Beleuchtungssystem 1 kommende Lichtstrahl 3 ist als durchgezogene 
Linie dargestellt. Das vom Objekt 15 ausgehende Licht 17 gelangt durch die 
Mikroskopoptik 13 und uber das Scanmodul 7 zum Strahlteiler 5, passiert die- 
sen und trifft auf Detektor 19, der als Photomultiplier ausgefuhrt ist. Das vom 
Objekt 15 ausgehende Licht 17 ist als gestrichelte Linie dargestellt. Im Detek- 

15 tor 19 werden elektrische, zur Leistung des vom Objekt 15 ausgehenden Lich- 
tes 17, proportionate Detektionssignale 21 erzeugt und an die Verarbeitungs- 
einheit 23 weitergegeben. Die im Scanmodul 7 mit Hilfe eines induktiv oder 
kapazitiv arbeitenden Positionssensors 1 1 erfassten Positionssignale 25 wer- 
den ebenfalls an die Verarbeitungseinheit 23 ubergeben. Es ist fur einen 

20 Fachmann selbstverstandlich, dass die Position des Scanspiegels 9 auch uber 
die Verstellsignale ermittelt werden kann. Die eingehenden, Analogsignale 
werden in der Verarbeitungseinheit 23 zunachst digitalisiert. Die Signale wer- 
den an einen PC 34 ubergeben, an dem eine Eingabegerat 33 angeschlossen 
ist. Der Benutzer kann bezuglich der Verarbeitung der Daten mittels der Ein- 

25 gabegerat 33 entsprechende Selektionen treffen. In Fig. 1 ist als eine Einga- 
begerat 33 eine Maus dargestellt. Es ist jedoch fur jeden Fachmann selbstver- 
standlich, dass auch Tastatur, Joystick, Spracheingabe und ahnliches als Ein- 
gabegerat 33 verwendet werden konnen. Auf einem Display 27 wird z.B. ein 
Abbild 35 des Objekts 15 dargestellt. Hinzu kommt, dass zusatzlich auf dem 

30 Display 27 auch Einstellelemente 29, 31 fur die Bildaufnahme dargestellt wer- 
den konnen. In der hier gezeigten Ausfuhrungsform sind die Einstellelemente 
29, 31 als Slider dargestellt. Jede andere Ausgestaltung liegt im handwerkli- 
chen Konnen eines Fachmanns Der PC 34 gibt die entsprechenden Daten 
uber die Leitung 37 an die Verarbeitungseinheit 23 weiter. Die Positions- und 
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Detektionssignale werclen in der Verarbeitungseinheit 23 in Abhangigkeit von 
den jeweils gewahlten Einstellungen zusammengesetzt und auf dem Display 
27 angezeigt. Fur die Erfindung ist es unerheblich in welcher Form die Ein- 
stellelemente auf dem Display 27 dargestellt werden. Das bei einem konfoka- 
len Scanmikroskop ublicherweise vorgesehene Beleuchtungspinhole 39 und 
das Detektionspinhole 41 sind der Vollstandigkeit halber schematisch einge- 
zeichnet. Weggelassen sind wegen der besseren Anschaulichkeit hingegen 
einige optische Elemente zur Fuhrung und Formung der Lichtstrahlen. Diese 
sind einem auf diesem Gebiet tatigen Fachmann hinlanglich bekannt. 

Das Verfahren zur Abbildung und strukturellen Vermessung mikroskopischer 
3-dimensionaler Strukturen in einem Objekt 15, wobei das mikroskopische 
Bild mit einem Mikroskop aufgenommen wurde. Dabei kann die 3- 
dimensionale Struktur in beliebiger raumlicher Lage innerhalb des Objekts 15 
bzw. des mikroskopischen Bildes angeordnet sein. Das mikroskopische Bild 
kann als aufgenommenes Volumen I(x) beschrieben werden, wobei I(x)der 
Vektor der aufgenommenen Spektralanteile (Kanale oder spektrale Aufnahme 
mit den SP-Modul) an der Volumenposition x des Voxels definiert. Mit einem 
Rotationsvektor 



a = 



20 kann man ein verdrehtes Objekt 15 bzw. mikroskopisches Bild erzeugt wer- 
den. Hier sind die Einzelwinkel a x und a y die Rotationen um die entsprechen- 
de Achse im mathematisch positiven Sinn (alternativ konnen - ohne Be- 
schrankung der Allgemeinheit - auch yz oder xz Winkel Komponenten genutzt 
werden, da die Verdrehung eines Korpers in drei Dimensionen nur zwei Frei- 

25 heitsgerade hat). Durch die Rotationsmatrix 



M(a) = 



0 

cosa x 
sin a r 



0 ^ 

sin or 



cos a 



* J 



cosar^ 0 sina t 



0 

-sin a, 



1 0 

0 cos a 



y J 



kann man ein verdrehtes Volumen I(y) in den Koordinaten y = M(a)x be- 
schreiben. Diese Form der Beschreibung ist Stand der Technik in der Compu- 
tergraphik (siehe: Foley, van Dam, Feiner, Hughes (1996): Computer Gra- 
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phics - Principle and Practice. 2 nd Ed. Reading, Massachusets: Addison 
Wesley, p 215). 

Unter zu Hilfenahme der Technik des „Ortho Sectioning" kann man aus die- 
sem rotierten Volumen beliebige Schnitte erzeugen. Hierzu wird ein Ortsvektor 

5 in den rotierten Koordinaten y 0 = (x 0 y 0 z 0 ) T vorgegeben, der implicit drei 

zweidimensionale Ebenen 

• Ebenel: s x : t xy = {x 9 y) h» y(t^) = (x,y,z = z 0 ) 

• Ebene2: e 2 :t x: = (x,z)\-^y(t x: ) = (x,y = y Q ,z) 

• Ebene 3: s 3 : = O, z) i-> y (t^ ) = (x = x 0 ,y,z) 

10 definiert. Aufgrund der oben angegebenen Matrix-Relation lassen sich diese 
einzelnen Ebenen durch 

x(t^) = M(a)- l y(t^) 

im Originalvolumen bestimmen. 

Von Interesse sind die Bilder entlang der schragen Schnitte, wobei diese Bil- 
15 der durch die Wahl von verschiedenen Interpolationsverfahren rekonstruiert 
werden konnen. Interpolationsverfahren sind etablierter Stand der Technik 
und die meisten dem Fachmann hinreichend bekannten Verfahren konnen 
z.B. in Lehmann, Conner, Spitzer (1999): Survey: Interpolation Methods in 
Medical Image Processing. IEEE Transactions on Medical Imaging, Vol 18. No 
20 11. pp 1049 - 1075 nachgeschlagen werden. Alle dort aufgefuhrten Methoden 
haben in Zusammenhang mit dem erfindungsgemafien Verfahren ihre Berech- 
I tigung und konnen als Optionen ausgestaltet sein, die zu unterschiedlichen 

^ Qualitaten der Darstellung fiihren. Derartige Interpolationsverfahren sind beim 

„Ortho Sectioning" nicht notwendig, hier jedoch essentiell. Zur Interpolation 
25 werden aus benachbarten Voxel durch lineare Gewichtung die Werte an den 
Ebenenpositionen bestimmt Diese erweiterte Form des n Ortho-Sectioning" 
und die drei resultierenden Bilder I(x ah ) ermbglichen dann die Visualisierung 

beliebiger schragstehender Schnitte und den Zugriff auf beliebige schragste- 
hende lineare geometrische Strukturen im Bild. 

30 Das erfindungsgemafXe Verfahren kann wie folgt zusammengefasst werden. 
Zum Drehen des aufgenommenen 3-dimensionalen Bildes werden die Rotati- 
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onswinkel vergeben. Aus den Rotationswinkeln wird eine Transformationsmat- 
rix berechnet. Die gewunschte Schnittposition innerhalb des 3-dimensionalen 
wird bestimmt und anschlieBend die Ebenen berechnet. Es erfolgt die Ruck- 
transformation Ebene in den Originalraum und aus den Volumendaten erfolgt 
5 durch Interpolation die Berechnung der Schnittbilder. Die so berechneten 
Schnittbilder werden dann als Ergebnis auf dem Display 27 dargestellt 

Es ist dem Fachmann klar, dass sich dieses Verfahren nicht nur auf die er- 
fassten Rohdaten, sondern auch auf abgeleitete Daten (z.B. Ratio), verbes- 
serte Volumen (inverse Filter) oder beliebig Manipulierte Volumen anwenden 
10 lasst. 

Wie bereits oben erwahnt wird durch das Mikroskop eine Vielzahl 2- 
dimensionaler Bilder aufgenommen und schliefilich zu dem 3-dimensionalen 
Bildstapel zusammengesetzt. Mit dem erfindungsgemalien Verfahren kann 
auch durch den Bildstapel navigiert werden. Um das Verfahren besser an die 
15 Sinneswahrnehmung des Benutzers anzupassen und es gehirnkompatibel 
durchzufuhren, bietet sich folgendes an. Es wird eine beliebige Schnittposition 
und ein beliebiger Rotationswinkel vergeben, wobei eine Initialeinstellung als 
Defaulteinstellung gegeben sein kann. Die Berechnung der resultierenden 
Schnittebenen erfolgt nach dem oben beschriebenen Verfahren. Die resultie- 
20 renden Schnittebenen und die Schnittgeometrie werden auf dem Display 27 
dargestellt. Die Visualisierung erfolgt als ein Drahtgittermodell oder die Visua- 
lisierung des aufgenommenen Bildes kann auch durch eine 3-dimensionale 
W Visualisierung erfolgen, wobei die Rotation mit dem Blickwinkel ubereinstimmt 

> und die Schnitte im 3-dimensionalen Volumen angedeutet sind. Ferner ist e- 

* 25 benfalls eine Kombination auch dem Drahtgittermodel und der 3-dimensionale 
Visualisierung denkbar. Fur eine vereinfachte Einstellung von Rotationswinkel 
und Schnittebene sind Einstellelemente auf dem Display 27 vorgesehen. Die 
Interaktive Veranderung der Parameter Winkel und Schnittebene erfolgt durch 
den Benutzer mit gleichzeitiger visueller Kontrolle. Die Veranderung kann da- 
30 bei solange erfolgen, bis die ausgesuchte Struktur auf dem Display 27 in der 
vom Benutzer gewunschten Form dargestellt ist. 

Fig. 2 zeigt hierzu ein mogliches auf dem Display 27 darzustellendes Inter- 
face, mit dem den Benutzer die Bilder und dazugehorige Lagedaten prasen- 
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tiert werden. In der Darstellung auf dem Display 27 wird die „Ortho Sectioning" 
Sicht mit der Sicht eines Volumenrenderers bzw. einem Drahtgitterobjekt (sie- 
he Fig. 3) kombiniert. Fig. 2 zeigt eine bevorzugte Ausgestaltung, wobei die 
Realisation dem handwerklichen Konnen des Fachmanns uberlassen bleibt. 
5 Auf dem Display 27 sind mehrere Einzelelemente als virtuelle Bedienelemente 
ausgestaltet. Diese Einzelelemente sind durch Software im PC 34 realisiert 
und sind durch die Eingabegerat 33, wie z.B. einer Maus, einer Spracheinga- 
be oder eines Touch-Screens, vom Benutzer direkt manipulierbar. In der be- 
vorzugten Ausgestaltung wird auf dem Display 27 in einem ersten Fenster 40 
10 die Standard „Ortho Sectioning" Sicht dargestellt, die in einem zweiten Fenster 

f42 um eine Rotationssicht erweitert ist. Die „Orhto Sectioning" Sicht visuali- 
siert im ersten Fenster 40 ein Bild 40xyder xy-Ebene 41, ein Bild 40^ der xz- 
Ebene 43 und ein Bild 40 yz der yz-Ebene 45, dabei werden die Bilder 40^, 40^ 
und 40yz, an den entsprechenden Kanten aneinander gereiht. Die aktuelle 

15 Position innerhalb der Bilder 40^, 40^ und 40 yz y 0 = (x 0 y 0 z 0 ) r wird je- 

weils durch ein Fadenkreuz 70^, 70^ und 70^ in den angedeutet, wobei in 
den einzelnen Bereichen durch die Manipulation des Fadenkreuzes 70^, 70^ 
und 70yz mittels einer Maus oder ein gleichwertiges Eingabegerat die Schnitt- 

position y 0 = (x Q y Q z 0 ) T interaktiv verandert werden und der Bildinhalt in 

20 den einzelnen Bilder 40xy, 40xz und 40^ wahrend der Anderung aktualisiert 
werden kann. Ein drittes Fenster 44 auf dem Display 27 ermoglicht die visuelle 
Darstellung der Koordinaten und zeigt sowohl den Rotationswinkel als auch 
j0 die Schnittposition. Die im zweiten Fenster 42 des Displays dargestellte Rota- 

tionsvisualisierung stellt sicher, dass die Rotation nach Wunsch des Benutzers 
25 verandert werden kann. Zu diesem Zweck sind unterschiedlichste Ausgestal- 
tungen denkbar. Zum einen konnte die Visualisierung durch zwei ineinander- 
geschachtelte Quadermodelle durch eine Strichgraphik erfolgen, denen ein 
orthogonales 3-dimensionales Fadenkreuz 70xy, 70xz und 70y2 uberlagert ist, 

welches die Position y 0 = (x Q y 0 z 0 ) 7 wiederspiegelt. Die Darstellung der 

30 Sicht eines Drahtgitterobjekts mit den Quadermodellen ist in Fig. 3 gezeigt. 
Ein aulierer Quader 60 reprasentiert die Schnittgeometrie in deren Grenzen 
die Position y 0 variieren kann. Ebenso reprasentiert der auBere Quader 60 
die Ansicht eines zu untersuchenden Volumens 62. Ein Pfeil 63 symbolisiert 
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den Ubergang zu der Darstellung des aufieren und des inneren Quaders bei 
dem der innere Quader 62 gedreht ist und somit das gedrehte Volumen dar- 
stellt. Eine entsprechende Software verknupft die Drehung des inneren Qua- 
ders 62 mit Bewegungen der Maus oder ahnlichen Eingabegeraten. Der inne- 
5 re Quader 62 lasst sich durch eine Volumenrekonstruktion des aufgenomme- 
nen Objekts 15 ersetzen. Hierzu werden sogenannte Volume Rendering Algo- 
rithmen genutzt, die im wesentlichen (je nach Verfahren mehr weniger realis- 
tisch) eine Bildentstehung simulieren, wie sie makroskopisch ablauft. Durch 
diese Methode lasst sich ein realistisches Abbild des Objekts 15 schaffen, was 
10 zu einer weiteren kognitiven Entlastung des Benutzers fuhrt. 

Die reale Ausgestaltung dieser Komponente liegt in der kunstlerischen Gestal- 
tungsfreiheit des ausfuhrenden Fachmanns. Neben den standardisierten 
Techniken der Visualisierung wie Average, Maximum oder Transparent Pro- 
jektionen, kommt auch die speziell fur Fluoreszenzmikroskopie ausgelegte 
15 SFP (simulated fluoreszenz projection) in Frage, sowie samtliche Tricks der 
Computergraphik zur Verschonerung bzw. grafischen Ausgestaltung. Die Dar- 
stellung des aufieren und des inneren Quaders 60 und 62 in Strichgraphik und 
die Darstellung des inneren Quaders 62 als Volumenrekonstruktion des auf- 
genommenen Objekts 15 konnen kombiniert werden. 

20 Eine weitere Auswertemdglichkeit ist durch die Vermessung von Langen in 
dem aufgenommenen Volumen gegeben. Zur Ermittlung einer Lange 50 muss 
eine erste und eine zweite Position 51 und 52 im aufgenommenen Volumen 
definiert werden. Der geometrische Abstand der beiden Positionen 51 und 52 
ist dann die gesuchte Lange 50. Es gibt prinzipiell zwei Moglichkeiten, die es 

25 einem Benutzer ermoglichen mit dem Verfahren die Positionen 51 und 52 im 
Volumen zu definieren. 

Es wird in die Ebene navigiert, in der sich die komplette interessierende Lange 
50 befindet. Der Benutzer markiert die erste und die zweite Position 51 und 
52. Hierzu kann ein Eingabegerat 33, wie z.B. Maus, Panelbox, Spracheinga- 
30 be etc., herangezogen werden. Eine andere Moglichkeit ist, dass der Benutzer 
in die Ebene navigiert, in der sich die erste Position 51 befindet und markiert 
diese. AnschliefJend navigiert er in die Ebene, in der sich die zweite Position 
52 befindet und markiert diese ebenfalls. Nach der Definition der Positionen 
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kann der PC 34 den geometrischen Abstand berechen und visualisieren. Das 
Navigieren in die Ebene, in der sich die zu vermessende Struktur befindet, ist 
fur den Benutzer sehr viel einfacher und intuitiver anzuwenden und ist fur 
99,9% aller in der Praxis vorkommenden Messprobleme bereits geeignet. 

5 Fig. 4 zeigt eine Darstellung auf dem Display 27, das das Verfahren zur Er- 
mittlung einer Lange 50 dem Benutzer visualisiert. Erweitert man die in Fig. 2 
beschriebene Anordnung um Kontrollelemente (nicht dargestellt) zum Zeich- 
nen einer Linie auf die Bilder 40xy, 40^ und 40^, so ermoglicht dies die Ver- 
messung schrager Langen. Die numerischen Langen werden in einem auf 
10 dem Display 27 dargestellten Koordinatenfenster 46 angezeigt. Zuvor muss 
jedoch das Volumen entsprechend ausgerichtet werden, damit den Benutzer 
die zu vermessende Struktur in geeigneter Weise auf dem Display 27 prasen- 
tiert wird. AnschlieBend wir dann die erste Position 51 und die zweite Position 
52 bestimmt. Dies kann durch direkte Markierung der Punkte auf dem Display 
15 27 oder durch Verschieben eines Lineal-Objekts (nicht dargestellt) erfolgen. 
Der PC 34 kann daraus die Lange 50 der Struktur bestimmen. Die Ergebnisse 
werden den Benutzer z.B. in lesbarer Form im dritten Fenster 44 auf dem Dis- 
play 27 dargestellt. 

Bei dem Verfahren zur Ermittlung einer Lange in einem Volumen kann man 
20 unterzu Hilfenahme von Interpolationsverfahren die Intensitatsverteilung (oder 
ahnliche in den Grauwerten kodierte Parameter) nutzbar machen und visuali- 
sieren. Dazu wird, wie bereits oben beschrieben, zuerst das Volumen ent- 
sprechend der gewunschten Schnittebene ausgerichtet. Danach kann die inte- 
\^ ' ressierende Lange oder die interessierenden Langen im Volumen festgelegt 

) 25 werden. An Hand der festgelegten Langen werden entlang dieser die Intensi- 

taten interpoliert. Das Ergebnis wird in einem Chart dargestellt. Die Interpola- 
tion ist notwendig, da die diskrete Topologie des Volumens nicht mit der Topo- 
logie der Linie ubereinstimmt und angepasst werden muss. Interpolation ist 
der bestmogliche Schatzer der Verteilung der Intensitaten auf der Linie. Die so 
30 prasentierten Intensitatsgraphen erlauben Aussagen uber Objektpositionen 
anhand des numerischen Verlaufs der Intensitat. Im Chart sind mehr Details 
sichtbar als im Bild, das den Grenzen der Wahrnehmung unterworfen sind. 
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In einer weiteren Ausfuhrungsform der Erfindung werden ebenso schrag lie- 
gende Flachen 54 vermessen. Die interessierenden Eigenschaften der schrag 
liegenden Flachen in einem Volumen konnen durch die Definition einer ROI 
(region of interest) bestimmt werden. Die Eigenschaften sind z.B. Flache, 
5 Roundness etc. Eine ROI ist in diesem Kontext eine grafische Figur, die dem 
Bild uberlagert wird, urn die Form des Objekts in einer vom Benutzer ge- 
wunschten Weise zu beschreiben und als Grundlage fur Analysen dient. Wie 
bei den anderen bereits oben beschriebenen Verfahren muss die Ebene in 
entsprechender Weise ausgerichtet werden. Die ROI wird durch ein entspre- 

10 chendes graphisches Zeichentool Oder einen Automatismus bestimmt bzw. 
ausgewahlt. Die innerhalb einer geschlossenen Linie 56 liegende Flache 54 
wird als ROI bezeichnet. An Hand der Auswahl wird die Grolie berechnet und 
anschlieflend das Ergebnis dem Benutzer prasentiert. Beispiele fur Automa- 
tismen und Halbautomatismen zur ROI Bestimmung werden z.B. in Hastreiter 

15 P., Ertl T. (1998): Fast and Interactive 3D-Segmentation of Medical Volume 
Data. Alpbach, Australia: Proc. IMDSP 98 (Jntelligente Scheren") und Blake, 
Isard: Active Contours. Heidelberg: Springer, 1999 („active Contours") be- 
schrieben und sind als Stand der Technik anzusehen. Ohne die Dreh- und 
Ausrichtungskomponente des oben beschriebenen Verfahren, sind bestimmte 

20 Klassen von ROIs nicht zuganglich. 

Fig. 5 zeigt eine Erganzung bzw. eine weitere Ausfuhrungsform der Anord- 
nung der verschiedenen Fenster auf dem Display 27. In Fig. 5 sind Bedien- 
_ elemente zum Zeichnen der geschlossene Linie 56 auf die ersten Fenster hin- 

- zugefugt. 

* 25 Eine weitere Ausgestaltung des Verfahrens ist es t dass mehrere geschlosse- 
ne Linie 56 in verschiedenen Ebenen des aufgenommenen Bildes festgelegt 
werden. Die daraus entstehenden Flachen 54 werden zu einem Stack zu- 
sammengesetzt. Es ergibt sich ein 3-dimensionales Volumen, an dem be- 
stimmte Auswertungen durchgefuhrt werden. Dieses Volumen ist direkt der 
30 Vermessung zuganglich. Die Rotation der Ebene ist hier nicht essentiell, ver- 
einfacht allerdings bei bestimmten Volumina die Handhabung erheblich, da 
sich bei geeigneter Verdrehung des Objekts die geschlossenen Linien 56 der 
Schnitte durch das Volumen vereinfachen und der Nutzer keine komplizierten 
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Linien zeichnen muss. Nach der Ausrichtung der Ebene in den oben be- 
schriebenen Verfahren, wird aus den Basisflachen ein Volumen konstruiert. 
AnschlielSend werden die gewunschten GrolJen berechnet und auf dem Dis- 
play 27 dargestellt. Wiederum wird eine erhebliche Zeitersparnis wahrend der 
5 Arbeit erreicht. 

Eine weitere interessante Anwendung des Verfahren ist es, eine Moglichkeit 
zu schaffen, die es erlaubt auf einfache Weise die Scanparameter ausschlieft- 
lich auf ein ausgewahltes Volumen anzuwenden. Nachdem das Volumen nach 
der oben beschriebenen Weise bestimmt worden ist, kann z.B. der Scanvor- 
10 gang ausschliefclich auf das bestimmte Muster angewendet werden. Die Be- 
stimmung der bestmoglichen Scangeometrie zur Erfassung dieser ausgewahl- 
ten Struktur bzw. Volumen erfolgt durch Software. Dabei werden die aktuell 
verwendete Mikroskoptechnik (wie z.B. Objektiv, PinholegroRen, optische Auf- 
losung) und signaltheoretische Uberlegungen (Abtasttheorem, Nyquist) be- 
15 rucksichtigt. Hinsichtlich der Mikroskoptechnik wird in die Berechnung mit ein- 
bezogen, was sich technisch mit dem vorhandenen Mikroskoptyp und dem 
vorhandenen und installierten Equipement (z.B. Objektive) realisieren lasst. 
Bei den signaltheoretischen Uberlegungen spielt es eine Rolle, welche Struk- 
tur auflosbar ist und wie oft diese abgetastet werden muss. Sind die erforderli- 
20 chen Parameter berechnet wird der Scan durchgefuhrt. 

Eine weitere Ausfuhrungsform der Erfindung ist es, dass beliebige 3- 
dimensionale Kurven (nicht dargestellt) innerhalb des aufgenommenen Bildes 
definiert werden. Entlang dieser Kurven wird anschlieSend gescannt bzw. 
gebleicht. Die 3-dimensionale Kurve wird ebenfalls aus einem Stack mehrerer 
25 2-dimensionaler, geschlossener Linien 56 erzeugt. Das Scanmikroskop wird 
dann derart gesteuert, dass nur Punkte auf der 3-dimensionalen Raumkurve 
gescannt werden. Das Scannen ausschliefilich auf der 3-dimensionalen 
Raumkurve ermoglicht sowohl die Datenerfassung von dieser Raumkurve als 
auch die Veranderung der Probe auf dieser Raumkurve. Die Veranderungen 
30 der Probe sind z.B. Bleichen Oder Scheiben. 

Hinzu kommt, dass mit dem Verfahren eine interaktive Bestimmung eines inte- 
ressierenden Punktes im Probenvolumen bestimmt wird. Die Beleuchtungspa- 
rameter werden exklusiv dann nur fur den ausgewahlten Punkt verandert. Der 



Punkt gibt ein kleines Probenvolumen vor, wobei die Ubertragung einer Strah- 
lendosis exakt auf das durch den Punkt vorgegebene Probenvolumen ermog- 
licht ist. Diesem kann optional ein weiterer Scanvorgang zur Beobachtung von 
Recovery-Vorgangen oder das Schreiben weiterer Strukturen angeschlossen 
werden, wobei der zweite Scanvorgang ebenso exakt auf das Probenvolumen 
einwirkt. 

Die Erfindung wurde in bezug auf eine besondere Ausfuhrungsform beschrei- 
ben. Es ist jedoch selbstverstandlich, dass Anderungen und Abwandlungen 
durchgefuhrt werden konnen, ohne dabei den Schutzbereich der nachstehen- 
den Anspruche zu verlassen. 
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Bezugszeichenliste: 





1 


Beleuchtungssystem 




3 


Lichtstrahl 


5 


5 


Strahlteiler 




7 


Scanmodul 




9 


Scanspiegel 




11 


Positionssenor 




13 


Mikroskopoptik 


10 


15 


Objekt 




17 


vom Objekt ausgehendes Licht 




19 


Detektor 




21 


Detektionssignal 




23 


Verarbeitungseinheit 


15 


25 


Positionssignal 




27 


Display 




29 


Einstellelement 




31 


Einstellelement 




33 


Eingabegerat 


20 


34 


PC 




35 


Abbild 




39 


Detektionspinhole 




40 


erstes Fenster 




40^ 


Bild 


25 


40x2 


Bild 




40 yz 


Bild 




41 


. xy-Ebene 




42 


zweites Fenster 




43 


xz-Ebene 


30 


44 


drittes Fenster 




45 


yz-Ebene 




46 


Koordinatenfenster 




48 


Bedienelemente 




50 


Lange 
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9 



10 



15 



51 


erste Position 


52 


zweite Position 


54 


schrag liegende Flachen 


56 


geschlossene Linie 


OU 


a u Be re Quader 




innoror C*\\ oHor orlor *7i i i infarct irhanrlac ■ man 




Fadenkreuz im Bild 40«. 


' w xz 


Fadenkreuz im Bild 40„ 


70 y2 


Fadenkreuz im Bild 40^ 


a x 


x-Komponente des Rotationsvektors 


a y 


y-Komponente des Rotationsvektors 


I(x) 


aufgenommenes Voiumen 


i(y) 


verdrehtes Voiumen 
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Patentanspruche 



1. Verfahren zur Abbildung und Vermessung mikroskopischer drei- 
dimensionaler Strukturen, gekennzeichnet durch die folgenden Schritte: 

• Darstellen eines Datensatzes in 3-dimensionaler Form auf einem dem 
5 Mikroskop zugeordneten Display (27); 

\ • Vorgeben mindestens einer beliebigen Schnittposition und beliebiger 

Drehwinkel; 

• Drehen der 3-dimensionalen Darstellung auf dem Display (27) bis eine 
in der 3-dimensionalen Form enthaltene Struktur eine dem Benutzer 

10 geeignet erscheinende Darstellung auf dem Display wiedergibt; und 

• Durchfuhren eines Analysevorgangs an der Struktur. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 
dass bei der Vorgabe des Drehwinkels eine Transformationsmatrix berechnet 
wird und dass bei Vorgabe der Schnittposition entsprechende Schnittebenen 

1 5 berechnet werden. 

v^fc 3 - Verfahren nach Anspruch 2, dadurch gekennzeichnet, 

\ dass die entsprechenden Schnittebenen auf dem Display (27) dargestellt wer- 

den und die Darstellung der Schnittgeometrie in Form eines Drahtgittermodels 
aus einem auUeren und inneren Quaders (60, 62) realisiert wird. 

20 4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 

dass eine „Orhto Sectioning" Sicht in einem ersten Fenster 40 aus mehreren 
Bildern (40^, 40^ ,40^,) aus jeweils unterschiedlichen derart zusammenge- 
setzt ist, dass die Bilder 40^, 40xz und 40yz, an den entsprechenden Kanten 
aneinander gereiht werden und wobei die aktuelle Position der Bilder (40^, 

25 40xz und 40^) durch jeweils ein Fadenkreuz (70^, 70x2 und 70yz) angedeutet 
wird. 
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5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, 
dass die Position der Bilder (40^, 40^ und 40^) durch das Fadenkreuz (70^, 
70x2 und 70yz) durch die Manipulation mittels eines Eingabegerats (33) interak- 
tiv verandert wird, und wobei in den einzelnen Bereichen die Bilder (40^, 40** 

5 und 40yz) wahrend der Anderung aktualisiert und der Bildinhalt entsprechend 
verandert wird. 

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 
dass in dem aufgenommenen Volumen mindestens eine zu vermessende 
Lange (50) bestimmt wird, wobei die Lange (50) durch eine erste und eine 

10 zweite Position (51 und 52) festgelegt werden und der geometrische Abstand 
der beiden Positionen (51 und 52) die gesuchte Lange (50) reprasentiert. 

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, 
dass der Benutzer in die Ebene navigiert, in der sich die erste Position (51) 
befindet und diese markiert, dass der Benutzer anschliefiend in die Ebene 

15 navigiert, in der sich die zweite Position (52) befindet und diese markiert,. und 
dass an Hand der ersten und zweiten Position (51, 52) der PC (34) den geo- 
metrischen Abstand berechnet und visualisiert. 

8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 
dass mindestens eine schrag liegende Flache oder eine Menge diskreter 

20 Punkte in einem Volumen bestimmt wird, dass die mindestens eine schrag 
liegende Flache durch ein entsprechendes graphisches Zeichentool oder ei- 
nen Automatismus bestimmt bzw. ausgewahlt wird, und dass die schrag lie- 
0| gende Flache durch eine geschlossene Linie (56) markiert ist. 

9. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 
25 dass, mehrere Flachen (54) zu einem Stack zusammengesetzt werden, die 

ein 3-dimensionales Volumen darstellen, und dass an dem Volumen bestimm- 
te Auswertungen durchgefuhrt werden. 

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, 
dass, Scanparameter ausschlielilich auf das ausgewahlte Volumen angewen- 

30 det werden. 

11. Verfahren nach Anspruch 9, dadurch gekennzeichnet, 
dass, das ausgewahlte Volumen eine 3-dimensionale Kurve darstellt, dass 
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das Scanmikroskop derail gesteuert wird, dass nur Punkte auf der 3- 
dimensionalen Raumkurve gescannt werden 

12. Anordnung zur Abbildung und Vermessung mikroskopi- 

scher dreidimensionaler Strukturen, mit einem Mikroskop, einem dem Mikro- 
5 skop zugeordneten Display (27), einem PC (34) und einem dem PC (34) zu- 
geordneten Eingabegerat (33) dadurch gekennzeichnet, dass 

o ein erstes Fenster (40) auf dem Display (27) zur Darstellung von 
Schnittebenen aus jeweils unterschiedlichen Blickrichtungen, 

o ein zweites Fenster (42) auf dem Display (27) zur Darstellung ei- 
10 ner Rotationssicht, 

o ein drittes Fenster (44) auf dem Display (27) zur visuellen Darstel- 
lung der Koordinaten, der Rotationswinkels und der Schnittposition 
und 



o jeweils ein Fadenkreuz (70^, 70^ und 70 yz ) in der Darstellung ei- 
15 ner jeden Schnittebene zum interaktiven Verandern der Schnittpo- 

sition vorgesehen ist, wobei der Bildinhalt im ersten Fenster (40) 
entsprechend der Veranderung aktualisierbar ist. 

13. Anordnung nach Anspruch 12, dadurch gekennzeichnet, 
dass in dem ersten Fenster (40) ein Bild (40^) der xy-Ebene, ein Bild (40xz) 

20 der xz-Ebene und ein Bild (40^) der yz-Ebene darstellbar ist, wobei die Bilder 
40xy, 40xz und 40^, an den entsprechenden Kanten aneinander gereiht sind 
und d,e aktue " e Position der (Bilder 40^, 40^ und 40^) jeweils durch das Fa- 
V denkreuz (70xy, 70xz und 70^) angedeutet ist. 

14. Anordnung nach Anspruch 12, dadurch gekennzeichnet, 
25 dass im ersten Fenster (40) mindestens eine zu vermessende Lange (50) be- 

stimmbar ist, wobei die Lange (50) durch eine erste und eine zweite Position 
(51 und 52) festgelegt ist und der geometrische Abstand der beiden Positio- 
nen (51 und 52) die gesuchte Lange (50) im aufgenommenen Volumen repra- 
sentiert. 

30 15. Anordnung nach Anspruch 14, dadurch gekennzeichnet, 

dass das Eingabegerat (33) zum Festlegen der ersten und der zweiten Positi- 
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on (51 , 52) herangezogen wird. 

16. Anordnung nach Anspruch 14, dadurch gekennzeichnet, 
dass auf dem Display (27) ein Koordinatenfenster (46) darstellbar ist, das die 
bestimmten Langen dem Benutzer numerisch darstellt. 

17. Anordnung nach Anspruch 12, dadurch gekennzeichnet, 
dass ein graphisches Zeichentool oder ein Automatismus vorgesehen ist, der 
es dem Benutzer erlaubt im ersten Fenster (40) innerhalb einer ausgewahlten 
Flache eine geschlossene Linie (56) zu erzeugen, die eine ROI festlegt. 

18. Anordnung nach Anspruch 17, dadurch gekennzeichnet, 
dass aus mehreren ROIs ein Volumen konstruierbar ist, und dass ein Compu- 
terprogramm zur bestmoglichen Bestimmung der Scangeometrie vorgesehen 
ist, wobei die aktuell verwendete Mikroskoptechnik und signaltheoretische 
Uberlegungen einbezogen sind. 
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Zusammenfassung 



Die gegenwartige Erfindung betrifft ein Verfahren und eine Anordnung zur 
Abbildung und Verniessung mikroskopischer dreidimensionaler Strukturen. 
Dabei wird ein Datensatz in 3-dimensionaIer Form auf einem dem Mikroskop 
zugeordneten Display (27) dargestellt. Mindestens eine beliebige Schnittposi- 
tion und ein beliebiger Drehwinkel werden vom Benutzer vorgegeben. Das 
Drehen der 3-dimensionalen Darstellung auf dem Display (27) wir ausgefuhrt, 
bis eine in der 3-dimensionalen Form enthaltene Struktur eine dem Benutzer 
geeignet erscheinende Darstellung auf dem Display (27) wiedergibt. Anschlie- 
Send werden die entsprechenden Analysevorgange an der Struktur durchge- 
fuhrt 



Fig. 2 




Fig. 3 




Fig. 5 



